AI023
Pengantar Pemrograman Triton
Perkalian Matriks dan Fusi Operator LLM
Tujuan Pembelajaran
- Analisis intensitas aritmetika dan batas roofline dari GEMM dalam Transformer
- Identifikasi operasi yang terbatas oleh memori dibandingkan dengan operasi yang terbatas oleh komputasi dalam blok Transformer
- Evaluasi strategi fusi operator untuk mengurangi beban akses memori global
- Teliti pola implementasi untuk menggabungkan lapisan aktivasi, normalisasi, dan perhatian